#Large Reasoning Model

avatar
「Agent, Reasoning」论文： Generative Verifiers: Reward Modeling as Next-Token Prediction 拟人化的 reward model，超越机械的打分，一个非常聪明的方法。 之前的分享中提到过，在 Large Reasoning Model 时代，RL 的方法几乎都是 Reinforcement Learning with Human Feedback 的延展。 只不过，后来的方法在思路上都是把 human feedback 替换成了 reward model。 传统上，reward model 仅仅是一个打分模型，而这篇论文则把 reward model 从简单的打分模型，转变为 next-token 输出, 即超越机械生硬的打分，增添了文字，推理，或者rule。 这大大提升了 reward model 的灵活性，因为可以把所有 prompting engineering 的技巧，比如 CoT、对打分的 reasoning 过程等都结合进来并输出，从来辅助打分。 从思维方式上来看，这篇论文更倾向于将 RM 作为一个“人”来使用，非常聪明。 可见，RM 上的创新将会是Large Reasoning Model重点的方法创新主题，拭目以待。
#Generative Verifiers #Reward Modeling #Next-Token Prediction #Large Reasoning Model #Reinforcement Learning
avatar
LRM论文选读：START: Self-taught Reasoner with Tools 这篇文章介绍了一种构建特定任务、私域Large Reasoning Model的有效方法，主要方法是微调，而且没有使用reinforcement learning，但却有非常类似reinforcement learning with human feedback的特征。 关键词有二： Test-time scaling Rejection sampling fine-tuning（反思微调）
#Large Reasoning Model #微调 #Reinforcement Learning #human feedback #论文选读 #特定任务 #私域
avatar
大语言模型 post-training 的变迁，从 Large Language Model (LLM) 到 Large Reasoning Model (LRM) 本周推荐论文：POST-TRAINING OF LARGE LANGUAGE MODELS Post-training，本质是在做一件事，即如何运用 LLM 的 pretrained knowledge 来解决实际任务，具体的方法如 supervised fine-tuning（SFT）、instruction tuning 以及 reinforcement learning（RL）。
#大语言模型 #后训练 #Large Language Model #Large Reasoning Model #POST-TRAINING #预训练知识